注释滥用语言很昂贵，在逻辑上复杂，并造成了心理伤害的风险。但是，大多数机器学习研究都优先提高有效性（即F1或精度得分），而不是数据效率（即，最小化注释的数据量）。在本文中，我们在两个数据集上使用模拟实验，以不同比例的滥用，以证明基于变形金刚的主动学习是一种有前途的方法，可以实质上提高效率，同时仍然保持高效，尤其是当虐待内容是数据集中较小比例的情况下。这种方法需要大量的标记数据，以达到与完整数据集培训相等的性能。
translated by 谷歌翻译
仇恨言语检测模型通常在持有的测试集上评估。但是，这有可能因为仇恨言语数据集中越来越有据可查的系统差距和偏见，因此绘制模型性能的不完整且潜在的误导性图片。为了实现更多针对性的诊断见解，最近的研究引入了仇恨言语检测模型的功能测试。但是，这些测试目前仅针对英语内容，这意味着它们无法支持全球数十亿语言所说的其他语言中更有效模型的开发。为了帮助解决这个问题，我们介绍了多语言Hatecheck（MHC），这是一套用于多语言仇恨言语检测模型的功能测试。 MHC涵盖了跨十种语言的34个功能，这比任何其他仇恨语音数据集更多。为了说明MHC的效用，我们训练和测试了高性能的多语言仇恨语音检测模型，并揭示了单语和跨语性应用的关键模型弱点。
translated by 谷歌翻译
标记数据是大多数自然语言处理任务的基础。但是，标记数据很困难，并且通常对正确的数据标签应该是什么不同的有效信念。到目前为止，数据集创建者已承认注释主观性，但在注释过程中没有主动管理它。这导致部分主观的数据集未能提供明确的下游使用。要解决此问题，我们提出了两个对比的数据注释范式。描述性范式鼓励注释主观性，而规定的范式则劝阻。描述性注释允许对不同信念进行测量和建模，而规定的注释使得能够培训持续应用一个信仰的模型。我们讨论实施宗旨的福利和挑战，并争辩说，数据集创建者应该明确瞄准一个或另一个，以促进其数据集的预期使用。最后，我们设计了一个注释实验，以说明两种范例之间的对比。
translated by 谷歌翻译